Ngày 21 đến 29 tháng 3 năm 1961, tại Đại hội Đảng bộ tỉnh Hưng Yên lần thứ V vòng hai (khi đó, chỉ riêng những trường hợp rất đặc biệt, có thể gọi là hiếm hoi thì mới phải tổ chức Đại hội tới vòng hai[cần dẫn nguồn]) ông được bầu lại làm Bí thư Tỉnh ủy.

Ông tiến hành khoán sản phẩm "chui" (không theo quy định chính thức thời đó) vào khoảng thời điểm 1962 (không có số liệu chính xác, nhưng tại thời điểm năm 1963 tại Hưng Yên đã có khoán "chui" tại một vài đội sản xuất và đạt hiệu quả ngay tức thì)[1].

Một sáng kiến khác của ông xoay quanh việc cải thiện đời sống cho người dân, sáng kiến này tập trung quanh khẩu hiệu "Hưng Yên mở hội làm giàu". Nhưng cũng vì khẩu hiệu này mà ông bị Ủy viên Bộ Chính trị Trường Chinh gọi lên phê bình kịch liệt[cần dẫn nguồn]. Tại Trung ương, ông phải nhận lỗi và cam kết sẽ thay đổi[1].

Chính bởi không dám kháng lệnh Trung ương nên những sáng kiến của ông chỉ được thực hiện nửa chừng.Khác với Lê Quý Quỳnh, cố Bí thư Kim Ngọc, sau khi bị phát hiện khoán "chui" và bị Trường Chinh dọa cách chức, đã không dừng lại mà tiến hành "khoán hộ" trên diện rộng hơn. Ngày 6 đến 10 tháng 9 năm 1963, tại Đại hội đại biểu Đảng bộ tỉnh Hưng Yên lần thứ VI, ông được bầu lại làm Bí thư Tỉnh ủy khóa VI [2].

Năm 1964, ông được bầu vào Quốc hội Việt Nam khóa III. Ông tái cử Đại biểu Quốc hội các khóa IV, V.

Ngày 26 tháng 1 năm 1968, Ủy ban Thường vụ Quốc hội nước Việt Nam Dân chủ Cộng hòa ra Quyết định số 504-QĐ/TVQH về việc hợp nhất hai tỉnh Hưng Yên và Hải Dương thành tỉnh Hải Hưng, tỉnh lỵ đặt tại thị xã Hải Dương. Theo sự chỉ định của Trung ương, Lê Quý Quỳnh được tiếp tục giữ chức Bí thư Tỉnh ủy [3].

Ngày 1 tháng 4 năm 1972, Ban Bí thư Trung ương Đảng ra Công văn số 19 về việc sắp xếp lại Ban Thường vụ Tỉnh ủy Hải Hưng. Bí thư là Ngô Duy Đông (về sau là Trưởng ban Nông nghiệp Trung ương), Phó Bí thư Thường trực; Lê Quý Quỳnh, Phó bí thư, Chủ tịch Ủy ban hành chính Trần Tạo. Như vậy, Lê Quý Quỳnh là nhân vật xếp thứ hai của Tỉnh ủy Hải Hưng cho tới cuối thập kỉ 70.

Từ đầu năm 1972 trở đi là kết thúc thời kì ông chịu trách nhiệm quản lý ở Hưng Yên và sau đó là Hải Hưng.